2 2737 ED 』 


EEOD ア A 


に ぶす 1 


S 


「FPGA XC3S500E-VQ208 (208 ピン ) + 2M バイ ト 高 束 
SRAM 基板 」 と 「 画 像 ベー ス ボ ー ド 」 で 構成 する 本 格 的 な 画像 
処理 回 路 の 詳細 を 紹介 する . (編集 部 ) 


フレ ー ム ・ メ モリ 付き 画像 制御 回 路 
で 行っ た 実験 


第 1 章 で 紹介 し 村 XC3S500E-VQ208 208 ピ ン )+ 2M 
バイ ト 高速 SRAM 基板 」CQ-SP3E208 を 使っ て , 
eSCCER Serial Camera Control Bus> イ ンタ ー フ ェ ー ス 

を 介し た CMOS カ メラ の 設定 
e CMOS カ メラ か ら の デー タ を フレ ー ム ・ メ モリ に 記録 
e フ レー ム ・ メ モリ の デー タ を アナ ログ VGA に 出力 
e マイ クロ プロ セッ サ に よる 画像 ビク セル へ の アク セス 
e マイ クロ プロ セッ サ に よる 画像 キャ プチ ャ の 制御 
な ど を 行い まし た . 

本 章 で は この 画像 制御 回 路 の 構成 を 詳し く 紹介 し , マイ 
クロ プロ セッ サ の プロ グラ ム も し く は VHDL ソ ー ス を 書き 
換え る こと に より 各種 画像 応用 シス テム を 構成 する 助け と 
(の 2 

第 1 章 で 行っ た 実験 は , 次 の 3 種類 で す . 
① カ メラ か ら 30 フ レー ム /s で 出力 し た 画像 デー タ を フレ ー 

ム ・ メ モリ に 記録 し , 同じ フレ ー ム ・ メ モリ か ら 60 フ 

レー ム /s で 読み 出し た 画像 デー タ を アナ ログ VGA に 出 

力 し 表示 する . 
② カ メラ 画像 を フレ ー ム ・ メ モリ 0, フレ ー ム ・ メ モリ 1 に 

記録 する を . マイ クロ プロ セッ サ か ら 各 フレ ー ム の ピク セ 


江崎 雅康 


デー タタ を 読み 出し , 差分 デー タ を フレ ー ム ・ メモ 
2 に 書き 込ん で アナ ログ VGA に 表示 する ソフ ト ウェ ア 差 
分 処理 の 実験 . 
カメ ラ 画 像 を フレ ー ム ・ メ モリ 0 に 記録 し , 次 に フレ ー 
ム ・ メ モリ 0 か ら 読 み 出し た デー タ と カメ ラ ・ デ ー タ の 
差分 を FPGA で 演算 する . その 結果 を フレ ー ム ・ メ モリ 
1 に 記録 し , アナ ログ VGA に 表示 する ハー ド ウェ ア 差 分 
処理 の 実験 . 


\ ご 


画像 ベー スポ ボード, フレ ー ム ・ メ モ 
リ 基 板 , Interface 誌 付属 SH7 144 
基板 で 構成 し た 画像 処理 シス テム 


図 1 は 本 誌 2007 年 8 月 号 で 紹介 し た 画像 ベー ス ボ ー ド 
CQ-SPSEDW の 回 路 図 で す . この 回 路 図 の 
e40 ピ ビン ・ プ ラグ J」 
e34 ビ ピン ・ プ ラグ J2 
e 20 ピ ビン ・ プ ラグ Js 
に 第 1 章 で 紹介 し XC3S500E-VQ208 十 2M バイ ト 高速 
SRAM 基板 」CQ-SP3SE208 の ヘッ ダ Js, Js, J4 を 接続 し 
示 ( 邊 り 
制御 に は Interface 誌 2006 年 6 月 号 付属 基板 CQ-SH7144 
を 使い まし た . この 基板 を CQ-SP3E208 の 40 ピ ン ・ プ ラ 
グ 了 』, Js に 接続 する と 写真 1 に 示す よう に 3 段 重 ね に な り 
ます . 

CQ-SP3E208 は 基板 上 に 48MHz ク ロッ ク ・ モ ジュ ー ル 
を 実装 し て いま す が , 今回 の 実験 で は CQ-SH7144 の クロ ッ 


フレ ー ム ・ メ モリ 付き 画像 制御 回 路 ,。 SCCB,。 デジ タル CMOS カメ ラ , RGB : 565 モ ー ド , CPU に よる 差分 演算 


処理 , ハー ドウ ェ ア に よる 差分 
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1 画像 ベー ス ボ ー ド CQ-SP3EDW の 回 路 


妖 


ギュ レー タ な ど を 備え る . 本 誌 2007 年 8 月 号 で 紹介 し た も の . 
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画像 用 D-A コ ン バ ー タ ADV7125, マイ クロ プロ セッ サ ADuC7026, USB- シ リア ル 変 換 IC CP2102, 液晶 バッ クラ イト 


日 LED 駆動 回 路 , 3.3V ス イッ チン グ ・ レ 


in 人 。 8 


33WEU 2 ク 7 0 を 使い まし た . 
CPU と FPGA の クロ ッ ク の 位相 が 一 致し て いる と タイ 
ミン グ 設 計 が 容易 に な り ま す . 
Interface 誌 付属 基板 と し て は 2007 年 5 月 号 の CQ-V850 
も あり ます . こち ら も 機会 を みて 試し て みた いと 思い ます . 
画像 ベー ス ボ ー ド 上 に ADuC7026 が 実装 され て いま す . 
SCCB の 制御 な ど は この CPU で 行う こと も 可能 で す が , 外 
部 メモ リ 空間 は 合計 512K バイ ト し か 利用 で きま せん . 2M 
バイ ト の フレ ー ム ・ メ モリ を 直接 アク セス する た め に は 
GPIO に よる バン ク 操 作 な どの 工夫 が 必要 に な り ま す . 今 
回 は ADuC7026 は SCCB の 制御 に は 使い ま せん. 


に 
中 流下 


ADV7 125 


R13 33Q6 図 
や 
WW 


フレ ー ム ・ メ モリ を 言 む 画像 制御 回 
路 の 構成 


10kX4 


図 2 は 今回 の 実験 に 使っ た フレ ー ム ・ メ モリ 付き 画像 回 路 
隔 Mi PfC33 rom の 構成 図 で す . 灰色 の 部 分 は FPGA 内 部 の 回 路 で す 
今月 号 の 付属 CD-ROM に は VHDL の ソー ス ・ コ ー ド を 
収録 し て いま す . 図 3 は 実験 の た め FPGA に 実装 し た 回 路 
モジ ュー ル の 階層 構成 で す . ソー ス 解 読 の 参考 に な る と 思 


いま す . 
回 路 モ ジュ ー ル FM_REG_CTRL は CPU イン ター フェ ー 
bs ス と FPGA の 制御 レジ スタ を 記述 し て いま す . CPU は 図 4 
の に 示す 制御 レジ スタ を 介し て 画像 制御 回 路 を コン ト ロー ル 
際 二 し ま 
6 ーー 今回 の 実験 に は Interface 誌 付属 基板 CQ-SH7144 を 使い , 
ゴゴ ォ dd ゴ | $ 画像 制御 レジ スタ お よび フレ ー ム ・ メ モリ は SH7144 の CS2 
8 5 空間 に 配置 し まし た . 
に | 。 8 で 画像 制御 レジ スタ は 図 5 の メモ リ ・ マ ッ プ に 示す よう に 
\ 8 3 900000 番 地 ~ 90000B 番地 
に 配置 し まし た . 


2M バイ ト の 画像 フレ ー ム ・ メ モリ は それ ぞ れ , 


FPGA 全体 図 フレ ー ム ・ メ モリ の リー ド / ラ イト 制御 較 
FM_CTRL FM_RDWR_CTRL 
フレ ー ム ・ メ モリ の 読み 出し 制御 図 

FM_RD_CTRL 


ISC コ ント ロー ヌ ラ ( SCCB) 層 
FM_I2C_CTRL 


フレ ー ム ・ メ モリ の 差分 演算 制御 隊 
FM_SUBT_CTRL 


CPU イン ター フェ ー ス 較 
& FPGA 制御 レジ スタ 図 
FM_REG_CTRL 


フレ ー ム ・ メ モリ の 書き 込み 制御 隊 
FM_WR_CTRL 


図 3 FPGA に 実装 し た 回 路 モ ジュ ー ル の 階層 構造 
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こ = さ 
2 0 まま:、 
3 7 の HH 
州 示 
いか 胃 o 困 0 


2 基 ee が 明け 。 7 が 0 放 た た Ni ! 4 
ビビ の の ンー で 4 さい いで me am / を お た 
A00000 番 地 A95FFF 番地 た だ け で す が , 6 は 制御 信号 と デー タ を 実際 の 流れ に 即 
A96000 番 地 ー B2BFFF 番地 し て 表示 し て いま す . 
B2C000 番 地 ー BC1FFF 番地 
に 配置 し て いま す ・ デジ タル CMOS カメ ラ の イン ター 
6 は 画像 制御 回 路 の 主要 な タイ ミン グ 信 号 と 構成 モ フェ ー ス 設定 
ジュ ー ル を ブロック 図 で 表示 し た も の で す . 2 の 構成 区 
は VHDL ソ ー ス の 記述 モジ ュー ル 間 の 信号 の 流れ を 図示 し VGA カメ ラ ・ モ ジュ ー ル KBCR-MO03VG は SCCB シリ 


メモ リ 基 板 . 凶 
第 1 章 で 紹介 図 


写真 1 

画像 ベー ス ボ ー ド , FPGA フレー ム ・ メ モリ 基 
板 , Interface 誌 付属 SH7144 基板 で 構成 し た 画像 
処理 レス テム 


画像 ベー ス ボ ー ド . 
本 誌 8 月 号 で 紹介 図 


CVSYNC(40Hz) 較 LR(7:O) 図 
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CLK 図 
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LVSYNC(57Hz) 図 
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SeriaStart 較 
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LED0 (LED ド ライ バ へ ) 較 
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MA(17:O) 鐘 
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CapEnd nMRD 較 
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jayFrame(1:O) 内 
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付属 基板 較 は DelayLed1(7:0) 凶 
CQ-SH7144) 上 AutoLed0 凶 
AutoLed1 較 LCLK 芝 一 = LCK 図 
amAccessEnb nLBLANK 図 - LENB 較 
*] 図 
『 悩 
『 定 図 
"0 図 


図 2 フレ ー ム ・ メ モリ を 含む 画像 制御 回 路 の 構成 図 
灰色 の 部 分 は FPGA の 内 部 回 路 
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nCS 
A(21) 較 
AG RegCs 較 
A(18) 較 RegCs 
RegSelO 図 
凶 
RegSel2 図 
RegSe83 図 
RegSe4 図 
nCS 
4 うーー SramCs 
A(21) 


( これ は FM_RDWR_CTRL.vhd に ある ) 
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画像 和 提 回 路 入 


いい SS 
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CLK 48MHz) 図 


RegN 7O) 凶 


RegSelN & nWRL 


CLK 48MHz) 図 
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デフ ォ ル ト 此 01010 デフ ォ ル ト 1 0 


01010 


Reserved 


Reserved 


btract 隠 hbtract 芝 Play Frame !Capture 図 iStart 図 
ame able !Start HE 
Capture Frame Read Bit--] 
Capture Start : 1 を 書く と 録画 スタ ー ト . 1 フレ ー ム ・ キ ャ プチ ャ 後 。 凶 startBit : 1 を 書く と シリ アル 通信 (IIC) スタ ー ト . 通信 終了 後 , 図 
自動 的 に 0 に な る . 鐘 自動 的 に O に な る . 較 
Capture Frame : 録画 先 フ レー ム ・ メ モリ 選択 (0, 1, 2) 鐘 Read Bit : 0 で シリ アル 書き 込み .1 で シリ アル 読み 出し . 図 
Play Frame : 再生 元 フ レー ム ・ メ モリ 選択 ( 0, 1, 2) 図 - 
Subtract Enable: 1 で フレ ー ム 差分 を と る . 原画 像 か ら Subtract Frame の 凶 ( b) 0x900002: Serial Control 
画像 を 減算 する . 図 
Subtract Frame : 原画 像 か ら 減算 する フレ ー ム ・ メ モリ を 選択 する ( 0, 1, 2). 較 
( a) 0x900000: Capture/Play Control 
ビッ ト 番号 尼 中 則 5 人 31 2 ビッ ト 番号 層 
デフ ォ ル ト 必 010 0101010 デフ ォ ル ト 還 
Serial Da Serial Address 
Serial Address: シリ アル 通信 PC) ア ドレ ス 較 上 生 Reset 
SerialData  : シリ アル 通信 IPC) デー タ 図 も Nd 09 
「 図 SramAccessEnb RSTB 
( c) 0x900004: Seral Address/Data Reset Start  : テス ト 用 . さ し あ た り 使用 し な い . 図 
Test Mode : 1 で 赤 一 色 , 2 で 緑 一 色 , 3 で 青 一 色 を VGA に 出力 . 凶 
RSTB : 1 で RSTB 端 CCD カ メラ の CS 端子 ) が H に な る . 
SramAccessEnb : 1 で マイ コン か ら SRAM へ の 書き 込み , 読み 出し が 可能 較 


ビッ ト 番号 革 15 |14 113 11110| 9 
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3121110 


に な る . この と き CCD カ メラ か ら SRAM へ の 書 
で き な い . 図 


( d) 0x900006: Miscellaneous 


き 込 み は 図 
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Manua 剛 ! LEDO 
LED 区 ManuaI 図 
Mode LED1 


LED1 Delay LEDO Delay 


LEDO0 Delay : VSYNC か ら LED0 が 光る まで の ライ ン 数 Auto LED Mode 時 ) 較 
LED1 Delay : VSYNC か ら LED1 が 光る まで の ライ ン 数 Auto LED Mode 時 ) 図 


( f) 0x90000A: LED Delay 


Output GPIOs 


: GPIO0 て 3 に 出力 する 値 図 


: 1 で Manual LED Mode, 0 で Auto LED 図 
Mode 自動 発光 ) 較 
1 を 書く と LED 端 子 が 「H "に な る ( Manual LED 図 
Mode が 1 の と き ) 図 
: GPIO4>7 の 状態 が 入る GPIO5 と 6 は 無効 ) 凶 


( e) 0x900008: GPIO Control 


Manual LED Mode 


Manual LED0, Manual LED1 : 


Input GPIOs 


図 4 制御 レジ スタ FM_REG_CTRL) 
CPU は この 制御 レジ スタ を 介し て 画像 制御 回 路 を コン トロ ー ル する . 


Design Wave Magozine 2007October 89 


ニー 『 9 | プイ 、 る 3 E ミ : ゃ ) 
か や w CS トド まこ 7 に A 
ps ら ミ rrrmr y 
9 だ ま rr に 
Pos ミミ 96  】 
人 WW IT | か 
に 0 JMA ご 
エー ー ゃ ーー. ー り 8 
生生 ua 2 の ・ Se * が つき 
0x80 0000 
予約 済み 凶 
1M バ イト 較 
( 512Kx16 ビ ッ ト )【 
0x90 0000 
0x900000+0x0, 0x2, 0x4, Ox6, Ox8, 0xA 
FPGA レジ スタ 図 
へ の アク セス 較 
( 予約 ) 図 1M バ イト 図 
( 512Kx16 ビ ッ ト )【 
0xA0 0000 
フレ ー ム 0 
640 セ グ メ ント X480 ラ イン xX 2 バイ ト =0x96000 
0xA9 6000 
外 付け SRAM 図 
へ の アク セス 図 
2M バ イト 図 
0xB2 C000 ( 1Mx16 ビ ッ ト ) 図 
図 5 
nCS SH マイ コン の CS2 出 力 ) で OxBC 2000 


アク セス する と き の メ モリ ・ マ ッ プ OxCO 0000 


4M ビ ッ ト SRAMX4 
SramCs and 図 MRU 15 0) 図 
だ CLK48M 


nWRL or nWRH 


較 
ワイ 失 31 skpz) 図 { 1 


RGE 15 0) 較 
6MHz) 図 


CVSYNS 図 
( 30Hz) 較 


1 nMCS0 
ん 2 時 CLK48M 
ライ ト ・ アド レス 図 
発生 回 路 図 D フ リッ プ 陸 
Capture 
CHSYNC 図 1 
( 15.75kHz) 凶 
CVSYNC 較 CcdWrEnb_N |nRD 較 LR z0) 図 
( 30Hz) 図 本 6 
LE 70) 図 
回 還 記 CVSYNC | 5 ラリ ッ プ 陸 nLBLANK 
フロ ッ プ 図 
メ 沿 ( 60Hz)E 
メ nMCS0,1,2,3 SRAM へ 連 MA 170) 較 ETY 
記 CHSYNC 凶 nWR ang 較 
モ |(15.75kHz) 図 SramCs  VgaRdEnb_N MCLK [ラリ ッ プ MM 上 CLK 図 
1 フロ ッ プ 了 ( 24MHz) 
| 
ル 
図 


半 nLSYNC 較 
フロ ッ プ 了 (28kHz) 図 


R 150) 図 


Capture SramCs 


レジ スタ 較 nRD nWRL nWRH CS 3 0) 較 


nLPSAVE 
6 フレ ー ム ・ メ モリ を 含む 画像 制御 回 路 の 制御 ブロ ッ ク 
FPGA フレ ー ム ・ メ モリ ・ コ ント ロー ラ ( マイ コン > SRAM ア クセ ス あ り ) 


90 Design Wave Magogzine 2007 Ocober 


お 


アル ・ インター フェ ー ス を 介し て 内 部 レジ スタ の 設定 を 行 


う 必要 が あり ます . SCCB は IC に 類似 し た シリ アル 通信 
仕様 で す . 

SCCB は 図 2 に 示す 2 本 の 信号 線 
eSDA デー タ 線 双方 向 ) 
eSCLK クロ ッ ク 
を 介し て デー タ の 送受 信 を 行い ます . 

図 2 の 回 路 FM_CTL は I で の 制御 回 路 を ハー ド ウェ ア 
で 備え て いま す . CPU か ら は 図 4 c) に 示す 


e シリ アル ・ ア ドレ ス / デ ー タ ・ レ ジス タ 900004 
に 必要 な アド レス と デー タ を 書き 込ん だ 上 で 図 4 b) の 
* シリ アル 制御 レジ スタ 900002 


の ビッ ト 0= テ Start Bif Serial Start) を ′ 1 に 設定 する だ 
け で す . 

シリ アル 通信 が 完了 する と , この ビッ ト が 0 に な る の 
で CPU は この ビッ ト 変化 を ポー リン グ で 待ち ます . 

リス ト 1 は カメ ラ 画 像 を アナ ログ RGB デ ィ ス プレ イ に 動 
画 表 示す る プロ グラ ム で す . カメ ラ ・ モ ジュ ー ル を RGB : 
565 モ ー ド に 設定 する た め に 

SADDT=0x111F : //RGB: 565 出力 


SCTRL=0x0001 : 
whi1g( scTRLg0x0001) ==1) {)} 
と 記述 し て いま す . 
カメ ラ 内 部 レジ スタ の 値 を 読み 出し た い 時 は 図 4 b) を 
Read Bit 1 
Start Bit 三 1 
どじ まず . DNC MY 
タ に シリ アル ・ デ ー タ が 格納 され る の で , CPU か ら 読み 出 
し ます . 


デジ タル CMOS カメ ラ の 画像 入力 の 
メモ リ 制 御 


3 枚 の 画像 フレ ー ム ・ メ モリ は 録画 / 表 示 に 関し て まっ た 
く 同じ 役割 を 果たし て いま す . 図 人 4 a) の Capture/Play 
Control レ ジス タ は , 画像 フレ ー ム ・ メ モリ の 読み 出し / 書 
き 込 み を 制御 する レ レジ スタ で す . 
デジ タル CMOS カ メラ の 画像 を キャ プチ ャ ( 録画 ) し た 
い 時 は , 
① 鍼 画 先 フ レー ム ・ メ モリ を Capture Fram& ビッ ト 2 て 
1) で 選択 し た 上 で 


面 開始 ッ ト ( ビッ ト 0) を 1 に 設定 
し ます . 
図 7 は フレ ー ム ・ メ モリ 制御 の タイ ミン グ 図 で す . カメ 
ラ ・ デ ー タ は 24MHz の PCLK に 同期 し て 書き 込ま れ ま す . 
RGB : 565 フ ォ ー マ ッ ト の 場合 , 
e 偶数 even) タ イミ ング  R 5 ビッ ト ) 十 《 3 ビッ ト ) 
e 奇数 odd) タ イミ ング  Q 3 ビッ ト ) 十 民 5 ビッ ト ) 
で 入力 する の で , パイ プラ イン 処理 に より RGB16 ビ ッ ト 
に 変換 し ます . 


回 画像 フレ ー ム ・ メ モリ の タイ ミン ク 制 御 


Capture/Play Control レ ジス タ は , 画像 の 表示 も 制御 し 
ます . ビッ ト 4 と ビッ ト し 8 志 0 と 2 に の 3 メ モリ 
か ら , 16 ビ ッ ト 画像 デー タ を , 画像 用 D-A コ ン バ ー タ 
ADV7125 と TFT 液晶 表示 回 路 に 送り 出し ます . 

画像 フレ ー ム ・ メ モリ と FPGA は 1 パス で 接続 され て い 
ます . カメ ラ 画 像 の 入力 と 表示 の た め の 読 み 出し は 競合 
ます . この 三 つ の メモ リ ・ ア クセ ス を " 見 か け 上 同時 に ” 行 
うた め に , 時 分 割 ア クセ ス を 行っ て いま す . 

16 ビ ッ ト 画像 デー タ を VGA 表示 する た め に 必要 な ビク 
セル ・ ク ロッ ク ・ レ ー ト は , 24MHz で す . メモ リ の アク 
セス を 48MHz で 行う と , 2 回 アク セス 可能 で す . 

図 7 の タイ ミン グ 図 す SRAM の デー タ 」 に この し くみ を 
表示 し て いま す . 
eMCLK デ デ [" の タイ ミン グ で … カ メラ 入力 
eMCLK デ HH の タイ ミン グ で …VQA 画像 表示 出力 
を 行っ て いま す . 


「 信 画像 デー タ の リア ル タ イ ム ・ ハ ー ド 
ウェ ア 処 理 


カメ ラ ・ モ ジュ ー ル KBCR-MO3VG の VQGA 出力 は 30 フ 
レー ム /s で すか ら , 時 分 割 ア クセ ス の タイ ミン グ に 余裕 が 
出 ます . 図 7 の タイ ミン グ ・ チ ャ ー ト は , この タイ ミン グ 
を 利用 し て , 直前 の カメ ラ ・ デ ー タ の 読み 出し ( read back) 
を 行っ て いま す . 

この 機能 を 利用 する こと に より , フレ ー ム ・ デ ー タ の リ 
EE どけ COW で 図 
4 a) Capture/Play Control レ ジス タ の Subtract Enable) 
は , この 機能 を 有効 に する ビッ ト で す . 演算 対象 の フレ ー 
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nc1ude<std1io .h> 


define CPBCTRL (*( (unsigned shor *) 0x00900000) ) 
define SCTRT」 (*( (ungsigned short *) 0x00900002) ) 
define SADDT (*( (ungsigned short *) 0x00900004) ) 
define MTSC (*( (unsigned shor *) 0x00900006) ) 
define TOCTRL (*( (unsigned shor *) 0x00900008) ) 
define LEDDLY (*( (unsigned shor *) 0x0090000A) ) 


define MEM0 (*( (unsigned shor *) 0x00A00000) ) 
define MEM1 (*( (unsigned shor *) 0x00A96000) ) 
define MEM2 (*( (unsigned shor *) 0x00B2C000) ) 
define 8TDO (*( (ungiqned short *) OxFFEFEF8622 ) ) 
define SWATT (*( (unsiqgned shor *) OxFEEFEF8624) ) 


define PACRL1 (*( (unsigned shor *) OxFEFEFEF838C) ) 
define PEDR (*( (unsigned ghor *) OxEFFEFEF83B0) ) 
define PETOR (*( (unsigned shor *) OxFEFEFEF83B4 ) ) 


define CMSTR (*( (ungiqned short *) 0xFFEFEF83D0 ) ) 
define CMCSR0 (*( (ungiqgned short *) 0xFFEFEF83D2 ) ) 
define CMCNT0 (*( (ungiqgned short *) 0xFFEFEF83D4 ) ) 
define CMCOR0 (*( (unsiqgned shor *) OxFEFEFEF83D6) ) 


deFinme WCR1 (*((unsigned shor ょ *) OxFFFF8624 ) ) 


1 
Yo1d wai キ () : 


Yo1d main (Vo1d) 

( 
3nE 1, kj 
1n CoO3: 
ung1gned Shor *8roA: 
uns1gned ghor *8SroCB: 
uns1gned ghor *D1igA: 
unmg1gned ghor 上 *DigB : 
ung1gned ghor tmpus1, tmDpu82: 
uns1gned ghor rug1 , ru82, エ U83: 
ShO ェ 上 rghor 上 1 , rhor 上 2 , rghor3 : 
uns1gned 8hor 上 dug1, dU82, dU83: 
Shor 上 ghor 上 1 , dgShor 上 2 , 8hor3 : 
uns1gned shor bug1, bus2, Du8g3: 
Short bghor 上 1 , bshort2, Dshor3 : 
ung1gned ghor 上 tmpshort 


WCR1 = WCR1 & OxFOFF | 0xOFOO: // WMATT = 15, Memory oyc1e = 2+15 


PACRL1 = PACRL1 | 0x4000: // MD15MD=1 , CK=OUT 
PETOR = PETOR | 0xE1FF: // qefau1t 0Ox0000, 1 ig ouEput, 0O 1g nput, 1110 0001 1111 1111 
GO き - 二 0 ば 


ADDT=0x8012 : カメ ラ ・ モ ジュ ー ル の リセ ッ ト 
SCTRL=0x0001 
while((8CTRLg0x0001) ==1 ) 


SADDT=0x4011 : 同期 信号 を 設定 : 負 論 理 
SCTRL=0x0001 : 
whi1e( (SCTRLg0x0001) ==1 ) 


SADDT=0x1C1 2 RGB/Raw RGB 出力 モー ド , オー ト ・ ホ ワイ ト ・ バ ラン ス 禁 止 
SCTR エ =0x0001 
whi1e( (SCTRLg0x0001) ==1 ) 


SADDT=0x111F: RGB: 565 出力 
SCTRL=0x0001, 
whi1e( (SCTRLg0x0001) ==1 ) 


Wai (75) : / / wait three Frameg 


1E ( (PEDRg0x1200) ==0x1200) 人 // PE12(SW2) is 1, PE9(SW1) ig 1 
CPCTRL=0x0001: // capture Eo frame0, pl1ay Frame0 
whi1e((CPCTRLg0x0001) ==1) {} 
) e1ge if((PEDRg0x1200) ==0x1000) 人 { // BE12 is 1, PE9 ig 0 
PEDR = Ox5555: // LED ON 
CPCTRL=0x0009: // capture Eo frame0, pl1ay Frame1 
whi1e((CPCTRLg0x0001) ==1) {)} 
PEDR = OxAAAA: // LED OFF 
CPCTRL=0x010B: / / subtraot From Frame0, capEture o Frame1 , play Frame1 
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リス ト 1 


いい 


カメ ラ 画 像 を アナ ログ RGB ディ スプ レイ に 動画 表示 する プロ グラ ム ( つづ き ) 


whi1e((CPCTRL&0x0001 ) ==1) {} 
) e1se ifF((PEDR&0x1200) ==0x0000) { 
) e1se { // BE12 is 0, PE9 ig 1 


) 


// PE12 1g 0, 


SADDT=0x0941 : 
SCTRL=0x0001: 
whi1e( (SCTRLg0x0001 ) ==1) {} 


// Flash ofFFE 


EE9 is 0 


1F (co3 == 2) co3 = 0: 
e18e CoO3++: 
} 
) 
void wait(inE w){ 
CMCOR0 = 750-1: 
CMCNT0 = 0: 
CMCSR0 = Ox0001: // 24000000/32/750 = 1 mg 
CMSTR = 0x0001: / / CMT0O gtar モ 上 
For(1i=w: 1>0: ュー-) { 
whi1e ( (CMCSRO & 0x0080) ==0 ) 
CMCSR0 = 0Ox0001: 
) 
CMSTR = 0x0000: // CMTO stop 
} 
CLK48M 


PCLK 


RGB デ ー タ 生成 較 


SRAM の デー タ 較 


RGB 
CMOSMKVGA 岡 cMosRvcA 図 CMOSMVcA 較 
read 較 上 readM 
back read | write | read back read 


PCLK_dly0 | 


G 2:0) & R 4:0) 図 


R 4:0) & Q 5:3) 図 
R 4:0) & Q 5:3) 
Q 2:0) & R 4:0) 


NB ーー リ ョ ミー ョ ドル た ーー ヨコ ョ ドー リョ 1 
even 
R 40)8 6 53) 
R 4:0) & Q 5:3) 図 
CCD カ メラ か ら の 鐘 R 4:0) & Q 5:3) 較 


RGBL 15:0) 図 


ICMOSMVGA 錠 
write | read 


CMOSWAVGA 図 CMOSVGA 区 
back | 「ead | write | read 


CMOS readback CMOS readback CMOS readback 


MD 15:0) 図 
2 | 
(24MHzZ) 
CcdReadWin 
MD_CCDRD 
MD_CCDWR 凶 識 RGB - MD_CCDRD に RGB - MD_CCDRD 固 RGB - MD_CCDRD | 
較 
Subtract Frame か ら 凶 
の Read Back つ RGB 較 Ccdwritewin 


と の 引き 算 一 Write 
図 7 フレ ー ム ・ メ モリ 制御 タイ ミン グ 図 
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リス ト 2 カメ ラ 入 力 画像 の 差分 を アナ ログ RGB ディ スプ レイ に 表示 する プロ グラ ム 


94 


nc1ude<std1io .h> 


define CPBCTRT (*( (unsigned 


define SCTRL (*( (unsigned 


define SADDT (*( (unsigned 


define MTSC (*( (unsigned 


define TOCTRL (*( (unsigned 


define LEDDLY (*( (unsigned 


define (*( (unsigned 


define (*( (unsigned 


define (*( (unsigned 


define (*( (unsigned 


define (*( (unsigned 


define PACRL1 (*( (unsigned 


define PEDR (*( (unsigned 


define PETOR (*( (unsigned 


define CMSTR (*( (unsigned 


define CMCSR0 (*( (unsigned 


define CMCNT0 (*( (unsigned 


define CMCOR0 (*( (unsigned 


1: 
Yo1d wai() : 


Yo1d main (Vo1d) 

( 
1nE 1 エ 1, kj 
1n CoO3: 
uns1gned ghort *SroA: 
ungs1gned ghor *SroCB: 
umg1gned 8hor *D1igA: 
uns1gned shor *DigB : 
uns1gned shor ヒ mpus1, mpu82 : 
ung1gned ghor 上 rug1 , ru82, TU83: 
SBhOr 上 rghor 上 1 , rghor 上 2, ghor3 : 
uns1gned shor qug1, du82, du83: 
Short ghor 上 1 , Shor 上 2 , dBhor 上 3 : 
ung1gned ghor bugs1, bus2, Du83: 
ghor 上 bghor 上 1 , bshort2, Dshor3 : 
uns1gned shor tmpshor : 
in Ca1End = 0: 


WCR1 = WCR1 & OxFOFF | 0x0F00: 


// WATT = 15, Memory oyc1e = 2+15 


PACRL1 = PACRL1 | 0x4000: 
// MD15MD=1 , CK=OUT 
PETOR = PETOR | 0xE1FF: 
0x0000, 1 1g oupu 上 , 0O 8 inpu 上 , 


GG き 0: 
SADDT=0x8012 
// カメ ラ ・ 


SCTRL=0x0001 
whi1e( (SCTRLg0x0001) ==1) {} 


Design Wave Mqgazine 2007 October 


hor 

*) Ox00900000) ) 
hor 

*) Ox00900002) ) 
hor 

*) Ox00900004) ) 
hor ヒ 

*) 0x00900006) ) 
hor 

*) Ox00900008) ) 
hor 

*) Ox0090000A) ) 


hor ヒ 

*) 0x00A00000) ) 
hor 

*) 0x00A96000) ) 
hor ヒ 上 

*) 0x00B2C000) ) 


hor ヒ 上 

*) 0xFFFF8622 ) ) 
hor ヒ 

*) 0xFFFF8624) ) 


hor 

*) 0xFFFF838C) ) 
hor ヒ 

*) 0xFFFF83B0 ) ) 
hor 

*) 0xFFFF83B4 ) ) 


hor 

*) 0xFFFF83D0 ) ) 
hor ヒ 

*) 0xFFFF83D2 ) ) 
hor 

*) 0xFFFF83D4 ) ) 


Shor ヒ 
*) 0xFFFF83D6 ) ) 


defFinme WCR1 (*((unsigned shor *) OxFFFF8624 ) ) 


// defau1 モ 
1110 0001 1111 1111 


モジ ュー ル の リセ ッ ト 


SADDT=0x4011 : 

// 同期 信号 を 設定 : 負 論 理 
SCTRL=0x0001: 
whi1e( (SCTRLg0x0001) ==1) {} 


// RGB/Raw RGB 出力 モー ド , 
オー ト ・ ホ ワイ ト ・ バ ラン ス 禁 止 


SADDT=0x1C12 


SCTRL=0x0001: 
whi1e( (SCTRLg0x0001) ==1) {} 


SADDT=0x111F 
RGB: 565. 出 力 

SCTRL=0x0001 : 

whi1e((8CTRL&0x0001 ) == 


SADDT=0x2028: 
SCTRL=0x0001: 
whi1e( (SCTRLg0x0001 ) == 


whi1e(1) { 
wait (75) // wait hree Frameg 


1f ( (PEDRg0x1200 ) ==0x1200) 人 {{ // PE12(SW2) is 1, 
PE9(SW1) is 1 
1E (Ca1End == 0) { 
PEDR = Ox5555: // LED ON 
CPCTRL=0x0001: // capture モ o 
Frame0, play frame0 
whi1e((CPCTRLg0x0001) ==1) {} 
wait (1000): 
PEDR = OxAAAA: // LED OFF 
CPCTRL=0x0000: 
// p1ay frame0 
) 
) e1se ifF((PEDR&0x1200) ==0x1000) { 
// PE12 is 1, PE9 ig 0 
if (Ca1End == 0) { 
CPCTRL=0x000B: 

// capture 上 to fFrame1, play Frame1 
whi1e((CPCTRLg0x0001) ==1) {} 
wa1t(1000): 

) el1se { 
CPCTRL=0x0008: 
// p1ay frame1 
) 
) e1se if((PEDR&0x1200) ==0x0200) { 
// PE12 is 0, PE9 1g 1 
) e1se { // BE12 is 0, PE9 ig 0 
if (Ca1End == 0) { 
MTSC=0x0020: 
// SRAM Acocess Enab1e 


gMEMO : 
gMEM1 : 
gMEM2 : 
0: 1 < 480: 1++) 人 
0: k < 640: k++) { 
tmpu81 = 
* (SroA + k): 
tmpu82 = 
* (SroB + k): 
/ / Red difFfFerenoe 
Short1] = 
(short ) (tmpus1 >> 11): 
Short2 = 
(short ) (tmpus2 >> 11): 
ShOr て 3 = 
Shor 上 1] - rghor 七 2 
1fF (rshor モ 3 < 
0) rshor3 = 0: 
U83 = 
(unsigned shor ) rShor3 : 
エ Uu83 
< ぐ 赴 寺 5 


// Green difFfFerence 
9Shor モ 1] = 

(short) ( (tmpus1 >> 5) & 0x003F) : 
98Short2 = 

(shor) ( (tmpus2 >> 5) & 0x003F) : 


で ヾ SO ーー 


* ゃ ふう 1 
NN で で 


\ バ 
ww 
和 


リス ト 2 カメ ラ 入 力 画像 の 差分 を アナ ログ RGB ディ スプ レイ に 表示 する プロ グラ ム ( つづ き ) 


9Short3 = 
9Shor モ 1 - gd8hor 七 2 
if (gshort3 < 
0) gshort3 = 0: 
9US3 = 
(unsigned shor ) gshor3 : 
9US3 = dUS3 
に <) 


// B1ue difFfFerenoe 
Dshort1 = 
(short ) (tmpus1 & Ox001F) : 
DShor2 = 
(short ) (tmpus2 & Ox001F) : 
DShor 上 3 = 
bshor 上 1 - Dshor 七 2 
1fF (bshor モ 3 < 
0) bshort3 = 0: 
Dus3 = 
(unsigned shor ) bshor3 : 
bus3 = Du83: 


* (DistA + KK) 
= TUS3 + 9U83 + bu83: 


SroA += 640: 


SroB += 640: 
DigstA += 640: 


ム は ビッ ト 10 と ビッ ト き Subtract Frame) で 指定 し ます . 


CPU か ら ピ クセ ル ・ デ ー タ を アク セス する と き は , カメ 
ラ と 同じ , 
eMCLK デ [の タイ ミン グ 
で 行い ます . 


カメ ラ 入 力 と CPU アク セス の 切り 替え は 図 d) 
Miscellaneous レ ジス タ の ビッ ト 5 SramAccessEnb) で 行 
いま す . 

実際 の 画像 録画 制御 は FPGA が 行う の で , ユー ザ は 図 4 
の 各 レ ジス タ に 必要 な デー タ を 書き 込む だ け で す . 


昌 画像 処理 実験 の プロ グラ ム 


リス ト 1 は フレ ー ム 0 に カメ ラ 画 像 を 取り 込む と 同時 に , 
取り 込ん だ 画像 を VGA 表示 する た め の プ ログ ラム で す . 開 
発 に は イエ ロー ソフ ト 社 の コン パイ ラ を 使い まし た . CPU 
の 仕事 は カメ ラ の 初期 設定 と FPGA で 構成 する 画像 処理 
路 の レジ スタ 設定 だ け で す . 

30 フ レー ム / ぉ の カメ ラ ァ デー タ を 取り こぼす こと な く 
キャ プチ ャ し , 60 フ レー ム /s で VQGA 表示 し ます . 表示 
レー ト が 画像 入力 レー ト の 2 倍 に な る の で , 1 コマ ご と に 
前 後 の 画像 が つなぎ 合わ さっ た 画像 が 表示 され ます . 

リス ト 2 は 複数 の フレ ー ム ・ メ モリ を 活用 し た 画像 処理 


回 


Ca1End = 1: 
MTSC=0x0000: 
// SRAM Accesg Dsgab1e 
) el1se { 
CPCTRL=0x0010: 
// p1ay frame2 


) 


SADDT=0x0941 : 
SCTRL=0x0001: 
whi1e( (SCTRLg0x0001) ==1) {} 


// FEF1ash ofF 


iF(co3 == 2) co3 = 0: 
G18e CO3++: 
) 
) 


Yo1d wait(tnt w) { 
CMCOR0 = 750-1: 
CMCNT0 = 0: 
CMCSR0 = 0x0001: 
CMSTR = 0x0001: 
for(1=w: 1>0, ュー-) { 
whi1e( (CMCSRO & 0x0080) ==0 ) 


// 24000000/32/750 = 1 mg 
/ / CMTO gtar ヒ 上 


CMCSR0 = Ox0001: 


) 


CMSTR = 0x0000: // CMTO stop 


の 実験 プロ グラ ム で す . 図 8 a) に 示 ず CPU に よる 差分 
演算 処理 」 と 図 & b) に 示 ず ハー ド ウェ ア に よる 差分 」 を 試 
し て み ま し た . 

その 結果 , 第 1 章 で 紹介 し た よう に , 
e 差分 デー タ 三 動い て いる 物体 
が 差分 画像 と な っ て 表示 され ます . 厳密 に は 動く 物体 の 抜 
け あ と ” が 残る の で , 実用 に は も う 少し 複雑 な アル ゴリ ズ 
ム を 開発 する 必要 が あり ます . 

ここ で 示し た か っ た こと は, 
@ CPU の ピク セル 処理 で 処理 アル ゴリ ズム を 検証 し 
e 検証 され た 処理 アル ゴリ ズム を ハー ド ウェ ア で 高速 化 


する と いう 手順 で す . 画像 処理 アル ゴリ ズム 開発 の 効率 化 
と 工学 的 な 実用 化 を スム ー ズ に 行え ます . 


画像 ベー ス ボ ー ド 開発 の 狙い 
… 画 像 アル ゴリ ズム と 画像 処理 IP の 
テス ト ・ ベ ンチ 


7 月 号 付属 基板 の 有効 活用 か ら ス ター ト し た 画像 ベー ス 
ボー ド の 開発 で す が , 今回 の フレ ー ム ・ メ モリ 搭載 に より 
多く の 可能 性 が 広がっ て きま し た . 

画像 処理 回 路 は 大 量 の デー タ を 高速 に 処理 する こと が 求 
め ら れ ま す . CPLD や FPGA を 使っ た HDL 回 路 設計 の ア 
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ePE12Z SW2) が 1 で PEG SW1) が 1 の と き 図 
① を 繰り 返す よう に レジ スタ を 書く . 較 
四 に の と き は 1 秒 ご と に フレ ー ム 0 の 静止 画 が 更新 され る . 


ePE12Z SW2) が 1 で PEd SW1) が 0 の と き 較 
② を 繰り 返す よう に レジ スタ を 書く . 較 
の と き は 1 和 ど と に ラ レー ム 1 の 静止 画 が 更新 され る . 較 


ePE1Z SW2) が 0 で PEG_ SW1) が 0 の と き 較 
キャ プチ ャ は 停止 され , CPU は ③ の よう に フレ ー ム 0 と 図 

1 を 読み , CPU 内 で 差分 を と り , 結果 を フレ ー ム 2 に 較 

書き 込み 表示 する (この間 約 2 秒 か か る ). その 後 凶 

_ フ レー ム 2 の 更 止 画 差分 ) が 表示 され る ( 更新 な し ) . 較 


e( 差分 を と っ た 後 )PE12 SW2) が 1 で PE SW1) が 1 の 図 
どき フレ ー ム 0 の 静止 画 が 表示 され る ( ④ 更新 な し ). 図 


e( 差分 を と っ た 後 )PE14 SW2) が 1 で PEd SW1) が 0 の 凶 
較 と どき フレ ー ム 1 の 静止 画 が 表示 され る ( ⑤, 更新 な し ) 
e( 


差分 を と っ た 後 )PE12 SW2) が 0 で PE9 SW1) が 0 の 図 
_ と き フ レー ム 2 の 静止 画 が 表示 され る ( ⑥, 更新 な し ). 較 


e 再度 差分 を と る に は CPU を リ セット する. 図 


ピン 


ePE12 SW2) が 1 で PE SW1) が 1 の と き 図 
① を 繰り 返す よう に レジ スタ を 書く . 較 

四 に の と き は 普通 の 動画 が 見 える . 較 

ePE12 SW2) が 1 で PE SW1) が 0 の と き 図 


@②, ③, ②@, ③, … と 繰り 返す よう に レジ スタ を 書く . RB 
罰 「PGA 内 で 動 的 に 差分 が と られ 表示 さ れる . 較 


e レ ジス タ を 書く 間隔 は 2 フレ ー ム 父 66.7ms ) な の で 較 
この 間隔 で 差分 が 更新 ・ 表 示さ れる . 凶 


( b) helo.c( 動画 モー ド , FPGA で 動 的 に フレ ー ム 差分 を と る ) 較 
図 8 CPU と FPG に よる 複数 の フレ ー ム ・ メ モリ を 活用 し た 画像 処理 の 実験 プロ グラ ム 


プリ ケー ショ ン と し て 真価 を 発揮 で きる 分 野 で す . 


二 I 
設計 結果 を すぐ に 目 で 確認 で きる の で 論理 設計 の 教育 今回 紹介 50 例 の 投稿 を 歓 
2 な で 語 半 イー ミッ 記 計 に 今回 紹介 し た FPGA 基板 を 使用 し た 製作 事例 の 投稿 を 歓迎 
PIA し ます . テー マ と 概要 を まとめ た A4 用 紙 ]1, 2 ペー ジ の レポ ー 
TFT 液晶 表示 モジ ュー ル な どの 入手 ルー ト も 開拓 し まし ト を , 下記 の あて 先 まで お 送り くだ さい . 編集 部 で 検討 し , 
た . 教育 , 開発 , 研究 用 テス ト ・ ベ ンチ と し て 活用 され る 記事 の 執筆 を 依頼 させ て いた だ きま す . 本 誌 ま た は 本 誌 Web 
と を な NPCG ま の サイ ト で 採用 させ て いた だ いた 際 に は , 弊社 規定 の 原稿 料 を 


お 支払 いい た し ます . 
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